策略其实受 Harness 秘密约束：Agent 接口的决策几何
🧭 Agent 接口设计与策略学习
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
训练策略会带上训练 harness 的偏好，部署收益可分解为接口天花板减策略偏差，固定模型评估接口会混淆两者
📌 工作参考价值（4 点）
- 在评估 prompt / 工具 / 工作流改动时，别只拿固定模型 A/B 测试，应把表现拆成 ceiling（接口天花板）和 mismatch（当前策略偏差）。可以用一个更强的模型（如 GPT-4 或更大开源模型）近似最优策略来估计 ceiling，再用当前模型算 mismatch，从而预测改动后重新训练/微调能带来的真实收益。
- 如果接口只是格式变化（比如 prompt 字段顺序、工具描述顺序）而最优动作理论上不变，已微调的策略可能大幅失效（MiniWoB++ 里反转字段顺序让成功率从 85.0% 跌到 19.2%）。这提醒我们：对 LLM 做领域微调时，训练 harness 的格式偏好会被固化，上线接口改动前要重新校准，或者在训练数据里加入字段排序、模板扰动等增强来提高鲁棒性。
- 自动 prompt 优化工具（如 DSPy、TextGrad）常用固定模型给候选 prompt 打分，可能只选出当前模型更擅长的表达方式，而不是真正提高任务上限的接口。建议在候选 harness 搜索中引入更强模型作为 oracle 评估 ceiling，避免陷入对当前模型的过拟合。
- 在设计推荐/搜索 Agent 的工具调用接口、提示词模板时，接口本身的易用性和信息完整性（高 ceiling）可能比当前模型一次性表现更重要，尤其是计划后续用业务数据继续训练模型时。
PlannerForge：自动驾驶运动规划场景测试的LLM Agent框架
🧭 LLM Agent 自动化测试流水线
Technical University of Munich · Munich Institute of Robotics and Machine Intelligence (MIRMI) · University College London
用统一LLM Agent框架覆盖自动驾驶场景测试全流程，开源中小模型媲美商业API
📌 工作参考价值（4 点）
- LLM Agent 编排模块化 pipeline：把场景生成、检索、修改、执行、评估统一成可链式调用的 agent 任务。电商/搜索推荐中可借鉴类似框架，将 query 推荐、召回、排序、评估串成端到端 LLM 工作流，减少碎片化工具切换。
- 开源中小模型足够匹配商业 API：论文显示 20–35B 开源模型在多数任务上媲美商业 API。对成本敏感的业务，可以用 Qwen 等开源模型替换 GPT-4 类接口，经过 prompt 调优后接近商业效果，大幅降低推理成本。
- 自动 cost-tuning 提升下游指标：LLM 自动调整模块参数，将规划器成功率从 50.4% 提升到 70.2%、碰撞率从 19.0% 降至 8.4%，无需领域微调。推荐系统中可让 LLM 自动调 rerank 权重、召回阈值等，用在线指标反馈做闭环优化。
- 模块路由（Module Routing）：用 LLM 根据输入场景选择最合适的下游模块/模型。在推荐架构中可实现动态路由，例如不同用户群体或 query 类型分发到不同精排模型，提升整体效果与资源利用率。
RealSWE：真实用户请求下的编码智能体组合评估
🧭 Agent 评估与提示信息组合优化
Sungkyunkwan University
构建多变量基准RealSWE，发现真实请求使LLM编码性能平均下降6.4pp，且明确期望行为与动机可显著提升表现
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的对话式 Agent 或购物助手中，用户输入通常短且非正式，应通过追问或模板引导用户明确“期望行为”和“动机”，而不是补充环境信息或复现步骤；这些高信息密度字段能显著提升任务解决率。
- 设计 Agent 评估集时，可借鉴 RealSWE 的多变量任务家族思路：同一任务只改变信息构成和语言风格，能更稳健地测量模型对真实用户输入的适应性，避免仅用结构化基准数据高估能力。
- 对 prompt 工程中的上下文模块做消融测试：若某些模块（如环境信息、复现步骤）只增加 token 和延迟而无实际收益，应将其裁剪或折叠为可折叠摘要，降低推理成本。
- 训练或微调面向真实用户的 Agent 时，可加入非正式、缺失关键信息的样本，增强模型从简短输入推断意图和补全需求的能力。
NVIDIA原生面向对象Agent框架NOOA
🧭 面向对象Agent编程框架
NVIDIA
将Agent抽象为Python对象，方法即动作、类型即契约，统一开发者与模型的编程接口
📌 工作参考价值（4 点）
- 推荐Agent工程化：将推荐逻辑（召回、排序、过滤）封装为Agent类方法，... 体方法由LLM动态补全，普通方法保留确定性执行，兼顾灵活性与可控性，适合搜索推荐多步决策。
- 类型注解即Contract：利用Python类型提示约束LLM输入输出（如 ProductQuery → List[ItemId]），减少prompt模板中的格式说明，自动校验并提高agent可靠性，可直接迁移到现有Pydantic+工具链。
- 可测试可追踪：Agent就是普通Python对象，能用pytest单元测试、用标准tracer追踪调用链，解决生产环境Agent行为难复刻、难调试的痛点，尤其适合电商多轮对话推荐中的状态回溯。
- 事件与上下文API：通过模型可调用的harness API传递上下文和事件，天然适合构建有状态的多轮对话式推荐/搜索Agent，管理长期记忆与用户意图，避免自建复杂状态机。
递归护栏自我改进：少量迭代提升智能体性能上限
🧭 Agent 自我优化 · 提示级迭代改进
Sakana AI · UC Berkeley
提出RHI，通过提示级迭代优化智能体循环，仅需少量样本即可超越最大推理设置并降低60%成本
📌 工作参考价值（4 点）
- 在电商推荐或搜索的Agent工作流中，可对编排提示（harness）进行任务特定的迭代优化，而无需依赖模型推理深度，从而以更低成本获得更优性能。
- 利用成对比较反馈自动优化多智能体间的信息流，提升复杂任务（如多轮对话推荐、用户意图理解）中上下文管理的有效性。
- RHI的轻量级特点（仅需少量迭代与低推理努力Agent）表明，实际业务可快速微调Agent编排模板，避免昂贵的手工设计或重训练。
- 实验显示性能增益源于改进的上下文管理而非更长推理，提示优化Agent间通信机制（如工具调用、中间结果传递）可能比堆叠推理步骤更高效，对商品检索或广告策略Agent有参考意义。
Prompt Generation 技术报告
🧭 生成式检索 · 配置驱动框架 ★ 深度解读
Taobao Search Team
通过配置驱动框架解耦生成式检索中的特征处理与模型架构，实现快速实验、统一部署和低延迟推理
📌 工作参考价值（4 点）
- 配置即实验：你的业务中每次加特征都要改模型代码吗？PG 把特征类型（文本、嵌入、组合、序列）和处理组件（映射、分桶、投影、合并等）都声明在 JSON 里，换特征只需改配置，几天变几分钟，适合快速迭代。
- 统一线上/线下特征一致性：训练—服务偏移（Training-Serving Skew）是推荐/搜索的顽疾。PG 的事件追踪机制记录线上原始特征，训练时回放，保证一致性 >99%，直接可复用。
- Token 压缩实用：长行为序列（如 45K tokens）被 PG 压缩至约 11K tokens 仍有离线收益，用 mean/combo 合并等算子控制 token 预算，平衡效果与成本，对 LLM4Rec 场景有直接借鉴。
- 插件化扩展：自定义合并算子（如 attention merger）通过注册即可集成，不改框架，便于在电商搜索/推荐中试验特征融合策略。
从投票到智体协作：答案类型感知的LLM流水线
🧭 多Agent协作与问题类型路由
Korea University · Myongji University · AIGEN Sciences
针对生物医学问答中不同答案类型设计LLM推理策略，结合多智体协作验证取得最佳结果
📌 工作参考价值（4 点）
- 问题类型路由：在推荐/搜索中，可对查询意图分类后路由到不同LLM推理策略，例如事实型查询用CoT，主观型查询用多Agent辩论，减少单一模板的偏差。
- 多Agent验证与集成：对于需要多源证据的推荐解释或复杂决策，可采用类似“提取-生成-验证-聚合”的协作链，提高答案可靠性和可解释性，尤其适合客服Agent或商品选品解释。
- 自反思与顺序扰动：yes/no问题中对证据片段进行洗牌和自反思，可降低模型对输入顺序的敏感性，增强预测稳定性；在广告创意排序或商品评论摘要中可借鉴，避免位置偏差。
- 集成预测与类型定制：将多个模型/模板的预测通过投票结合，并根据问题类型定制集成方式，这种方法可直接用于搜索广告Bidding中的多信号融合，提升出价策略的鲁棒性。
巴西电商产品属性值提取：基于LLM与黄金标注集的方法
🧭 LLM赋能属性提取 · 巴西电商 ★ 深度解读
LuizaLabs · Mackenzie Presbyterian University · University of São Paulo
用精心设计提示词的LLM代替传统NER，在巴西葡语商品属性提取上F1提升约15个百分点
📌 工作参考价值（5 点）
- 用LLM+提示工程直接做商品属性提取：无需微调，为每个品类定制提示词（任务说明、上下文、输出JSON格式、few-shot示例），可快速替换传统NER，特别适合多品类、多语种电商快速迭代。
- 构建黄金标注集的方法论：使用Cochran公式确定每类产品的样本量（95%置信度、5%误差，约385条），20个品类共覆盖数十万产品，可作为评估模型质量的无偏基准，也适合作为业务内部模型评测的固定验证集。
- 结构化输出设计：提示词中明确要求JSON输出，下游可直接解析入属性库、供搜索/推荐使用；对电压、尺寸等多值或歧义属性，提示词中需提供具体格式和示例，可大幅减少后处理。
- 工程部署考量：文中对比了自托管开源模型（VM部署，可预见延迟和成本）与闭源API（Gemini 2.5 Flash-Lite，1000并发请求平均1.3s但偶发30s）。推荐高吞吐场景优先自托管，避免API延迟波动和rate limit。
- 属性标准化仍是痛点：同一属性存在多种写法（“bivolt”“110/220V”），LLM虽能提取但一致性不足，建议后续增加规则或正则规范化层，或对LLM施加更严格的输出格式约束。
ZPPO：将教师融入提示而非梯度的近端策略优化
🧭 基于提示的教师引导强化学习训练
NVIDIA
在困难样本上，教师通过构造对比提示替代策略梯度注入，使学生模型摆脱蒸馏与GRPO的局限。
📌 工作参考价值（4 点）
- 难例训练范式：当RL训练的智能体（如对话推荐Agent）在稀疏奖励场景下持续失败时，可将更强模型或模拟器的正确答案作为对比提示注入，而非直接蒸馏logits或修改梯度，避免策略漂移。
- 对比式提示构造：借鉴BCQ和NCQ，将正确与错误响应匿名配对，让学生模型自行判别，可迁移至推荐系统候选列表的对比学习，提升模型对优劣结果的辨识力。
- 动态困难样本重放：采用基于准确率的提示重放缓冲区，让模型反复练习尚未掌握的困难例，直到毕业，有助于解决推荐场景中长尾物品或冷启动样本的训练不足问题。
- 小模型增效：最小学生规模（0.8B）时提升最显著，适合在边缘设备部署的轻量级推荐或意图识别模型，用ZPPO替代传统蒸馏以保持更强泛化能力。
SePO：自演进提示代理优化系统提示
🧭 自演进提示代理优化框架 ★ 深度解读
National University of Singapore · City University of Hong Kong
通过自指涉设计，使提示代理在进化搜索中同步优化自身与任务代理的系统提示，突破手工设计瓶颈。
📌 工作参考价值（4 点）
- 动态优化多智能体系统：在电商多智能体（如推荐、客服、运营）中，可引入 SePO 式自演进提示代理，自动迭代各 Agent 的系统提示，替代手工调参，持续适应变化的业务场景。
- 低成本跨任务泛化：预训练-微调两阶段设计，先在多任务池上进化出通用提示优化能力，再快速适配具体推荐任务（如生成式推荐、Query 改写），大幅降低重复优化成本并提升新任务冷启动效果。
- 失败-成功平衡采样避坑：提示优化时按 1:1 同时输入失败与成功案例，避免代理过拟合单一失败模式，这一技巧可直接用于推荐提示词迭代或用户意图理解的 Prompt Engineering 中。
- archive 进化搜索防止早熟：基于存档的开放演进保留历史上性能较好的提示作为“垫脚石”，可借鉴到推荐策略的自动化调优中，防止搜索陷入局部最优。
注意你的语气：语气会改变LLM的表现吗？
🧭 提示工程 · 语气敏感性
Pennsylvania State University
量化提示语气变化对多个LLM客观题准确率的影响，发现语气效应高度依赖模型，且在不同学科间存在差异。
📌 工作参考价值（4 点）
- 在电商搜索推荐中，用户 query 的改写或推荐理由生成若采用固定语气模板，可能因语气敏感性导致模型表现波动，需针对所用 LLM 进行语气鲁棒性测试。
- 多 Agent 协作场景下，Agent 间交互提示的语气一致性设计可能影响整体决策质量，可借鉴本研究的语气扰动实验，评估不同语气对任务完成率的影响。
- 生成式推荐中，控制生成物品描述的提示语气（如专业、随意、紧迫）可能引起推荐准确率的系统性偏移，建议对核心推荐链路做语气消融实验，选择最稳定的语气风格。
- 构建 LLM 评测集时，应纳入语气变体，避免仅使用单一中性提示导致对模型真实能力的过高估计。
基于表格网格导航与渐进式推理提示的高效表格问答
🧭 表格问答提示工程
IIIT Allahabad · Karlsruhe Institute of Technology
提出两种无需训练的提示框架 TGN 和 PIP，结构化解耦表格导航与推理，并可蒸馏为小模型监督信号
📌 工作参考价值（4 点）
- TGN 的三模块循环 将表格推理分解为行导航、列导航、答案精炼，可复用于电商商品表格问答、客服对比查询等场景，提高定位准确率和可解释性。
- PIP 的显式列约束 先强制识别相关列再过滤行，适用于结构化查询生成（如 Text2SQL），在推荐理由生成或属性抽取中可减少幻觉、提高检索精度。
- 低资源监督蒸馏 将 TGN/PIP 推理过程作为 fine-tuning 模板，在资源有限时让小模型逼近大模型效果，适合电商中大规模表格处理的成本控制。
- 免训练快速迭代 无需微调即可通过提示工程提升现有 LLM 的表格推理能力，适合业务快速验证和上线。
MOCHA：面向Agent技能优化的多目标切比雪夫退火方法
🧭 Agent技能多目标帕累托前沿探索 ★ 深度解读
Adobe Research
通过切比雪夫标量化与退火探索，打破单目标优化僵局，实现Agent技能帕累托前沿全覆盖。
📌 工作参考价值（4 点）
- 在电商Agent场景中，商品推荐、客服等技能的描述与指令体常受平台字数硬限制，可借鉴MOCHA的多目标优化生成不同长度-性能折中的技能版本，供运营按场景择优上线，避免单目标优化器因无法突破约束而停滞。
- 探索–利用退火策略（HVC门控阈值指数衰减）可迁移到推荐系统的prompt优化：前期用超体积贡献（HVC）广搜多样性候选，后期切换至切比雪夫接受精确提升核心指标，能有效避免陷入局部最优。
- 切比雪夫标量化能探索非凸帕累托前沿，当业务指标（如点击率、多样性、合规分）存在非凸冲突时，它比线性加权更能发现传统方法遗漏的折中解，适合多目标A/B测试中的候选生成。
- 结构化突变机制（如带合规反馈的字段感知改写）可应用于生成式推荐的item描述生成，在保证字数、排版合规的前提下逐步丰富推理结构，兼顾描述吸引力与展示约束。
PEEK：面向长上下文LLM Agent的上下文地图缓存
🧭 Agent长上下文交互的上下文知识缓存与更新 ★ 深度解读
MIT CSAIL · Stanford University
将可复用定向知识缓存为固定大小的上下文地图，显著提升Agent在重复长上下文任务上的准确率和效率。
📌 工作参考价值（4 点）
- 在电商场景（如反复查询商品库、用户评论语料）中，可以维护一个轻量级上下文地图，存储语料结构、关键实体、常用常量等可复用知识，避免每次推理都从零探索。
- Distiller从Agent执行轨迹中自动提取可迁移的上下文知识，而不引入任务特定噪声，这一思路可借鉴为Agent经验回放与知识累积模块。
- Cartographer与Evictor的分离设计（结构化编辑+优先级驱逐）确保缓存紧凑且更新不产生重复/冲突，适合需要固定token预算的生产环境。
- 即使只需极少轮次（m≤4）的缓存更新就能带来显著收益，这对成本敏感的在线推理系统极具参考价值。
量化与缓解前沿大语言模型的过早闭合行为
🧭 Eval ★ 深度解读
Stanford University
在医疗场景中，前沿LLM普遍在信息不足时给出不安全答案，安全提示可部分缓解但无法根除